MemLife: Curating and Reasoning over Long-Term Egocentric Video Memories
长期自我中心视频记忆的构建与推理：MemLife与MemOpt
🧭 长期视频记忆 Agent 与 RL 训练 writer ★ 深度解读
Meta Reality Labs · University of Virginia · University of Illinois Urbana-Champaign
提出MemLife多模态记忆系统与MemOpt强化学习框架，只训练记忆写入器即显著提升长期视频QA
📌 工作参考价值（4 点）
- 记忆写入与读取解耦：将非结构化多模态行为流（观看/会话/操作）离线压缩成时间戳+实体锚定的文本条目，线上只做检索与推理，可大幅降低长期用户行为记忆的存储与查询成本。在电商场景可对用户历史生成第一人称摘要（“我上周浏览过某商品”），对齐自然语言问询。
- 时间索引 + 语义搜索：检索时先用时间区间过滤再做 embedding 相似度排序，并按时间顺序组织证据，能缓解长历史中相似事件的检索竞争。迁移到搜索推荐可处理“上个月看过的那双鞋”等时间敏感查询，先缩小候选集再匹配。
- RL仅训练记忆写入器而非端到端答案：奖励分解为 Faithfulness / Informativeness / Retrievability，避免 reader 执行噪声干扰，训练稳定且跨 backbone 泛化。可以对用户行为摘要或商品描述生成模块采用类似分解奖励，将“信息量”和“可检索性”纳入优化目标。
- 可检索性离线评估：用固定 reader 缓存 actions 重放判断候选记忆是否会被检索到，无需每次生成新推理轨迹，显著降低训练开销。在推荐/搜索中评估历史摘要或商品描述的召回效果时，可用固定策略重放，快速离线筛选高质量候选。